RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination
RxBrain：联合语言推理与视觉想象的具身认知基础模型
🧭 具身Agent联合语言-视觉规划
Tencent Robotics X Team · Futian Laboratory · Tencent Hy Team
将语言推理与视觉想象统一为一个规划序列，实现具身任务的耦合文本-视觉规划与执行
📌 工作参考价值（4 点）
- 多模态规划范式可迁移：将高层语言推理（任务分解、约束、时序逻辑）与视觉状态预测（子目标图像生成）融合成一个序列，这种“语言蓝图+视觉落地”的范式可借鉴到电商商品推荐文案生成中，先规划叙述逻辑再生成对应商品图，提升图文一致性。
- 统一的多模态生成架构：采用单模型支持语言、图像、视频的理解与生成，避免多模型拼接的累积误差。对于需要同时处理商品标题、详情图、视频的推荐系统，统一的 Transformer 混合架构可简化流程。
- 自动数据构造管线：从视频自动分解规划步骤并对齐视觉状态，这种弱监督思路可启发我们利用用户行为序列（如点击→加购→购买）构建“推理-状态”训练数据，训练推荐模型进行因果推理或意图预测。
- 零样本动作扩展：模型在没有大规模动作数据预训练的前提下，仅通过语言和视觉规划直接泛化到连续机器人控制。这提示在多模态推荐中，若将动作空间也建模为序列的一部分，可能实现未见过动作的组合推荐。